哈佛大学周四宣布，将公开一份包含近百万本公共领域图书的高质量数据集，任何人都可以利用它来训练大型语言模型和其他 AI 工具。 这份数据集由哈佛大学新成立的机构数据倡议 （Institutional Data Initiative） 创建，并获得了微软和 OpenAI 的资金支持。 其中收录的图书均是 Google 图书项目扫描的、不再受版权保护的作品。该数据集规模约为用于训练 Meta Llama 等 AI 模型的臭名昭著的 Books3数据集的五倍。 它涵盖了各种类型、年代和语言，既有莎士比亚、查尔斯·狄更斯和但丁的经典之作，也有

在当今的人工智能领域，训练模型不仅仅是设计更好的架构，还需要高管理数据。现代 AI 模型需要大量数据，并且这些数据必须快速送达 GPU 和其他加速器。然而，传统的数据加载系统常常无法满足这一需求，导致 GPU 闲置、训练时间延长以及成本增加。尤其是在需要扩展或处理多种数据类型时，这个问题显得尤突出。为了解决这些问题，Meta AI 开发了 SPDL（可扩展且高效的数据加载），这是一个旨在改善 AI 训练数据传输的工具。SPDL 采用线程式加载，这一方法不同于传统的基于进程的方法

IBM 在纽约约克城宣布了一项重大的光学技术突破，该技术将显著数据中心在训练和运行生成式人工（AI）模型时的效率。IBM 的研究人员开发了一种新型的共封装光学技术（CPO），这项技术能够利用光速实现数据中心内部的连接，从而替代目前使用的铜电缆。尽管光纤技术已在全球商业和通信中广泛应用，但大多数数据中心内部仍依赖于铜电缆进行短距离通讯。这导致 GPU 加速器在训练过程中常常处于闲置状态，浪费大量的时间和能源 IBM 的研究团队展示了如何将光的速度和容量引入数据中

在快速发展的生成式 AI 领域，Nous Research 团队正在进行一项独特的实验:他们正在利用分布在全球的机器，预训练一款15亿参数的大型语言模型（LLM），这一过程避免了传统上需要在昂贵且耗电的数据中心或超级集群中进行的集中式开发。Nous Research 还在其专门网站 distro.nousresearch.com 上直播这一预训练过程，实时展示模型在各类评估基准上的表现，并提供参与训练的硬件位置地图，涵盖美国和欧洲的多个地点。截至本文发布时，预训练的剩余时间约为57小时（即2.3天），而已完成的训练进度

最近，社交媒体平台 Bluesky 面临了一次重大的数据抓取事件。一位机器学习图书管理员丹尼尔・范斯特林（Daniel van Strien）从 Bluesky 的 API 接口上抓取了超过一百万条公开的用户帖子，并将这些数据上传至 AI 公司 Hugging Face。该数据集包含了用户的去中心化标识符（DID）以及一系列可以搜索特定用户内容的功能。范斯特林表示，这个数据集的主要目的是用于语言模型和自然语言处理的开发，此外还包括社交媒体趋势分析、内容审核及发布模式的研究。这项数据抓取行动引发了广泛关注，因为

在最近采访中，Meta 首席执行官马克・扎克伯格分享了对 AI 训练过程中版权问题的看法。他指出，许多创作者和出版商往往高估了自己作品的实际价值。扎克伯格表示，Meta 将会与一些内容重要的创作者进行合作，但如果某些创作者要求付，那么公司宁愿选择放弃使用他们的内容。图源备注:图片由AI生成，图片授权服务商Midjourney扎克伯格提到:“我觉得大多数创作者或出版商在大局上往往高估了他们具体内容的价值。” 他强调，如果创作者反对 Meta 使用他们的作品，Meta 也会选择不使用，因

Meta Platforms 遵照巴西国家数据保护局(ANPD)的要求，开始向巴西用户详细说明其个人数据将如何被用于训练生成式人工智能（AI），并提供选择权让用户决定是否允许使用其数据。从本周二起，用户将通过电子邮件和社交媒体通知收到相关信息。ANPD此前因对数据用于AI训练的使用方式表示担忧而暂停了Meta的新隐私政策，但在Meta同意提供透明信息后，政策得以恢复。此举反映出全球对个人数据使用和隐私保护的重视，特别是随着生成式AI技术的快速发展，如何平衡创新与隐私保护成为科技公司面临的挑战。

马斯克的公司 xAI 在田纳西州孟菲斯投资设立全球规模最大的AI训练集群，运用10万台液冷Nvidia H100 GPU，目标于2024年12月打造“万能AI”，以展现“显著优势”。此举吸引了公众高度关注，为xAI使AI领域的竞争更趋激烈。面临同行如OpenAI、谷歌、微软、Meta等加速研发强大语言模型的压力，xAI需研发具有产业化价值的新技术以保持竞争优势。值得关注的是，微软正与OpenAI联手研发成本高达1000亿美元的AI训练超级计算机“星门”。此计划可能改变全球AI竞赛格局，xAI的孟菲斯超级集群能否维持其在全球的地位将是个挑战。

["反盗版组织成功要求在线盗版书籍资源库 The Eye 下线 AI 训练数据集 “Books3”。","“Books3” 数据集包含了 37GB 的文本，用于训练人工智能模型，已被多家公司使用。","反盗版组织表示 AI 对版权产生了新的挑战，计划继续打击其他存有该数据集的网站。"]

["科学家开发了一种名为 Glaze 的工具，用于保护艺术家作品不被用于训练 AI 系统。","Glaze 通过向数字艺术作品添加看不见的层，保持人类眼中的一致性，但对 AI 系统来说是不同的。","该工具为艺术家提供了一种保护作品风格的方式，使其不易被 AI 系统模仿。"]

["全球合成数据生成市场预计在 2031 年达到 35.8% 的复合年增长率，市值将达到 35 亿美元。","合成数据生成市场的增长受到数字化转型和人工智能等先进技术的推动，以及对物联网和连接设备的需求增加的影响。","合成数据生成技术可以满足数据隐私和安全的需求，并提供一种可扩展的方法来生成各种数据集。"]

["Google 和 OpenAI 利用机器人从互联网上收集数据，但最近的版权法对他们的数据抓取工作提出了障碍。","AI 模型需要人类生成的内容来提高，但公司应该支付还是从互联网获取这些内容是一个问题。","OpenAI 已经开始使用由 ChatGPT 创建的数据集来训练 GPT-4，但仅依赖这些数据可能导致模型崩溃。"]